2.1 基于LLM解决OR问题#

需要一个系统来执行复杂的理解与推理，传统的方法将OR求解分解为两个独立的任务，首先求解NER任务以识别优化问题实体，然后生成优化公式的精确意义表示；另一条路则是使用LLMs来合成问题数据，用这些“合成出来的数据集”作为训练素材，对 LLM 进行微调（Fine-tuning）或训练，从而提升模型解决 OR 问题的能力，但是主要问题在于LLM合成数据可能存在质量问题、成本也更加高昂。

2.2 基于LLM的Multi-Agent工作流#

通过多Agent协作的沟通的工作流比单LLM解决OR问题更有潜力，与现有工作项目，ORMind主要在反事实推理策略与multi-agent的记忆池沟通协作机制。

2.3 基于LLM的推理框架#

目前随着LLM发展，涌现了各种创新的推理框架增强LLM复杂推理的能力。

但是single-agent在处理OR问题时出现了明显的短板，这种工作难以处理隐含约束与事实幻觉的知识密集的综合问题。

3.1 Problem Formulation#

minimize $\sum_{j=1}^nc_jx_j$

subject to $\begin{gathered}\sum_{j=1}^na_{ij}x_j(\leq,\quad=,\geq)b_i,i=1,\ldots m \\l_j\leq x_j\leq u_j,j=1,\ldots,n \\x_j\in\mathbb{Z},j\in\mathcal{I}\end{gathered}$

3.2 Architecture Overview#

如图所示，整个系统结构是与人类思考过程相仿的。先在“大脑”中执行语义编码，从复杂的描述中快速识别关键变量；然后，它使用formalization thinking形式化思维，系统地采用数学表述变量和约束之间的关系；然后，执行编译器将这些抽象建模转换为可操作的解决方案。

给定问题输入$D$和智能体序列$A= {A_{ϕ_1},A_{ϕ_2},…,A_{ϕ_{Na}}}$,其中$Na$​表示智能体总数,$ϕk​$表示智能体特定的配置，每个组件基于存储在记忆池$P$中的先前输出进行构建。

智能体$k$的转换操作： $O_k=A_{ϕk}(D,P_{k−1})$

其中$D$代表业务需求输入，$P$包含所有先前处理过的输出。每个智能体的贡献$O_k$逐步增强解决方案库： $P_k=P_{k−1}∪\{O_k\}$

这种协作式记忆架构通过利用专业化的专业知识，同时维护全面的解决方案上下文，解决了传统multi-agent方案不同agent间可能存在的上下文隔离的现象。

3.3 Brief Introduction of Components#

5.1 Datasets#

1. NL4Opt
2. ComplexOR

5.2 Experiment Setup and Metrics#

GPT-3.5-turbo（主要使用）->GPT-4omini and GPT-4（鲁棒性测试）

• 成功率（SR）：解决问题的成功率。
• 模型构建失败率（MFFR）：由于约束解释错误导致系统未能构建有效数学模型的优化问题百分比。
• 实施执行失败率（IEFR）：由于技术不兼容或资源限制导致求解器执行失败的优化模型百分比。

5.3 Baseline Comparison#

以传统的方案作为对比，包括：Tag-BART (Gangwar, 2022)、Chain-of-Thought (Wei et al., 2022), Progressive Hint (Zheng et al., 2023), Tree-of-Thought (Yao et al., 2024), Graph-of-Thought (Besta et al., 2024), ReAct (Yao et al., 2023), Reflexion (Shinn et al., 2023), Solo Performance Prompting (Wang et al., 2024), CoE (Xiao et al., 2024) and OptiMUS (AhmadiTeshnizi et al., 2024)

5.4 Performance Evaluation#

Tag-BART在ComplexOR的复杂场景中完全失败，而Reflexion显示出中等的错误处理能力。然而，在处理更复杂的ComplexOR问题时，ReAct的性能略微超过了Reflexion，这可能是由于其访问外部知识库的优势，突出了外部数据在处理复杂场景中的重要性。OptiMUS的结果引自其原始论文。当在GPT-3.5上进行测试时，由于其违反既定问题解决方法论的违反直觉的工作流程结构，其性能显著下降。在实践中，我们发现这些框架中调用智能体的顺序通常违反直觉，未能反映人类专家自然的问题解决过程。

NL4Opt和ComplexOR数据集之间的性能差异突出了一个关键发现：ORMind擅长准确地构建数学模型（在NL4Opt上实现接近零的MFFR），而在更复杂的工业场景中则面临实施挑战（在ComplexOR上有更高的IEFR）。这意味着ORMind在隐约束或者目标识别方面存在一定优势，但是在复杂的约束情况下，代码生成能力缺乏鲁棒性。

此前报告过OptiMUS这篇文章，在此附上原始论文的实验结果

由于OptiMUS整体上下文以及multi-agent的交互开销较大，导致大部份组件无法更换为更便宜、规模更小的模型，一旦更换就会出现显著的性能下降，但是使用GPT-3.5来替换决策管理组件确实是可行的，决策并不需要长输出。

所以ORMind在减少cost开销这方面无疑是取得了一定成果的。

5.5 Ablation Study#

附录G Agent-MemoryPool Interaction#

Agent 主要对存储池进行检索与更新操作，执行任务前从记忆池检索相关信息：当前问题状态、先前识别的变量与约束、早期推理步骤的中间结果，增大了开销，但是确保了所有Agent都在使用最新的上下文。

当Agent完成任务后，就将结果更新到记忆池中。这些更新包括新发现的变量、约束、其他特定于任务的输出，以及总结推理过程的注释。每次更新都附带元数据标签，例如智能体标识符和时间戳，以保持可追溯性并便于调试。

随着新信息的出现，后续智能体可以重新审视和改进早期的结果，从而实现模块化和自适应的问题解决。这种集中式结构确保了系统的集体进展反映在单个共享存储库中，实现了所有智能体之间高效且一致的推理。

附录H 与现有方法比较#

ORMind并未引入外部知识，更多的依赖模型自身的能力。